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摘 要 本 研究 基于 线索 -靶子 范式 , 操纵 目标 刺激 类 型 (视觉 
无 效 线索 ) 两 个 自 变 量 , 通过 3 个 实验 来 考察 双 通道 分 配伍 
实验 1 (听觉 刺激 呈现 在 左 / 右 侧 ) 结 果 发 现 , 在 双 通道 分 配 | 


、 听 觉 、 视 听觉 ) 与 线索 有 效 性 (有 效 线索 、 中 性 条 件 、 


注意 对 视听 觉 返 回 抑制 (inhibition of return, IOR) 的 影响 。 
性 注意 条 件 下 ,视觉 目标 产生 显著 IOR 效 应 ， 而 视听 觉 目 


标 没有 产生 TOR 效应 ; 实验 2 (听觉 刺激 呈现 在 左 / 右 侧 ) 与 实验 3 (听觉 刺激 呈现 在 中 央 ) 结 果 发 现 , 在 视觉 通道 选择 


听觉 IOR 效应 。 
关键 词 ” 双 通道 分 配 性 注意 ; 通道 选择 性 注意 ; 
分 类 号 B842 
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1 前 言 
在 日 常生 活 中 , 我 们 每 时 每 刻 都 在 接受 来 自 外 
界 的 大 量 信息 。 注 意 帮助 我 们 有 选择 地 加 工 信 息 ， 
其 中 外 源 性 空间 注意 (exogenous spatial attentiom) 是 
指 个 体 的 注意 被 凸显 的 外 部 信息 自动 地 、 反 射 性 地 
吸引 到 某 一 或 某 些 空间 位 置 (Eimer & Driver, 2001). 
线索 -靶子 范式 (cue-target paradigm) 是 考察 外 源 性 
空间 注意 的 经 典范 式 (Posner & Cohen, 1984), Posner 
和 Cohen (1984) 将 左 / 右 侧 外 周 位 置 的 方 框 变 亮 作 
为 线索 , 经 过 一 段 时 间 间 隔 (stimulus onset asynchronies, 
SOA) 后 , 在 外 周 或 中 间 方 框 内 出 现 目 标 , 其 中 呈 
现在 中 间 方 框 内 的 目标 比例 为 60%， 以 达到 注意 从 
外 周 位 置 回 到 中 央 注 视点 的 目的 ,要求 被 试 觉察 到 
目标 时 尽快 做 出 按键 反应 ,结果 发 现 ， 当 SOA 在 约 
250 ms 以 内 时 , 被 试 对 呈现 在 与 线索 相同 ( 即 : 有效 
线索 ) 位 置 上 目标 的 反应 快 于 相对 ( 即 ， 无 效 线 索 ) 
位 置 , 这 种 促进 作用 被 称 为 “ 易 化 效应 ”(facilitation 
effect)。 然 而 当 SOA 超过 约 300 ms 时 ， 有 效 线索 
位 置 上 目标 的 反应 时 显著 慢 于 无 效 线索 位 置 ， 这 种 
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性 注意 条 件 下 , 视觉 与 视听 觉 目标 均 产 生 显 著 IOR 效应 但 二 者 无 显著 差异 。 结 果 表明 : 双 通 道 分 配 性 注意 减弱 视 


回 抑制 ; 视听 觉 目标 ; 线索 -靶子 范式 


抑制 作用 被 称 为 “返回 抑制 ”(Inhibition of Return, 
IOR) (Posner & Cohen, 1984; Zhang, Tang, & Wu, 2013)。 
IOR 作为 外 源 性 空间 注意 的 一 种 重要 机 制 ， 有 助 于 
注意 从 已 经 搜索 过 的 位 置 转向 新 的 空间 位 置 , 在 视 
觉 搜 索 中 起 重要 作用 (Klein, 2000)。 

IOR 最 初 在 视觉 领域 中 发 现 (Lupihfiez,，Milén, 
Tornay, Madrid, & Tudela, 1997; Pratt, Kingstone, & 
Khoe，1997)， 随 后 在 听觉 (Spence & Driver, 1998; 
Spence, Lloyd, Mcglone, Nicholls, & Driver, 2000), 
触觉 (Mcdonald & Ward，1999) 以 及 跨 通道 (如 视觉 
线索 -听觉 目标 或 听觉 线索 -视觉 目标 ) 领 域 均 观 察 
到 该 效应 (Reuter-Lorenz & Rosenquist, 1996)。 随 着 
研究 的 深入 ,人 研究 者 们 开始 关注 双 通 道 视听 觉 IOR 
效应 ， 即 同时 呈现 视觉 与 听觉 目 标 时 的 TOR 效应 。 
当 视 觉 与 听觉 目标 同时 呈现 时 会 发 生 视 听觉 整合 
(audiovisual integration) (van der Stoep, van der Stigchel, 
& Nijboer 2015)， 即 个 体 将 来 自视 觉 cued 的 信息 
整合 为 统一 的 、 连 贯 的 和 有 意义 的 知觉 过 程 (Tang， 
Wu, & Shen, 2016)。 前 人 研究 发 现 ,整合 后 的 双 通 
道 视 听觉 刺激 的 反应 时 会 快 于 单 通道 的 视觉 、 听 觉 
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刺激 (Talsma & Woldorff, 2005)。 并 且 双 通道 刺激 比 
单 通道 刺激 更 加 能 增强 上 丘 神经 元 (superior colliculus, 
SC) 的 反应 ， 从 而 更 容易 产生 注意 定向 (Meredith & 
Stein, 1986)。 另 外 , 视听 觉 整 合 能 够 影响 外 源 性 注 
意 ， 有 人 研究 表明 与 单 通道 线索 相 比 ， 即 使 在 高 感知 / 
注意 负荷 条 件 下 ， 视 听觉 线索 也 可 能 会 自动 吸引 注 
意 (Santangelo & Spence, 2007; Matusz & Eimer, 
2011)。 此 外 , 在 视觉 搜索 任务 中 ,听觉 刺激 与 视觉 
目标 同时 呈现 时 ， 可 以 使 视觉 目标 更 加 凸显 ， 也 就 
是 说 视听 觉 整合 可 以 提高 视觉 搜索 效率 , 更 有 效 地 
调节 注意 捕获 (van der Burg, Olivers, Bronkhorst, & 
Theeuwes, 2008; van der Burg, Talsma, Olivers, Hickey, 
& Theeuwes, 2011)。 根 据 视 听觉 整合 对 外 源 性 注意 
的 影响 ， 视 听觉 IOR 与 单 通道 视觉 IOR 效 应 可 能 也 
由 于 视听 觉 整合 的 作用 而 有 所 不 同 。 

van der Stoep 等 (2016) 基 于 传统 的 线索 -靶子 
范式 , 将 呈现 在 左 /中 / 右 位 置 的 目标 比例 设置 为 
1:1:1, 采用 Go/No-go 定位 检测 任务 , 要 求 被 试 对 
呈现 在 左 或 右 侧 (Go-trials) 的 视觉 .听觉 和 视听 觉 目 
标 刺 激进 行 定位 检测 反应 ， 呈 现在 中 间 (No-go 
trials) 的 目标 刺激 不 反应 。 结 果 发 现 , 在 双 通 道 分 配 
性 注意 条 件 下 ， 即 同时 需要 对 视觉 与 听觉 目标 作出 
反应 时 , 视觉 目标 产生 显著 的 TOR 效应 , 视听 觉 目 
标 不 存在 IOR 效应 (van der Stoep, van der Stigchel, 
Nijboer, & Spence, 2016)。 随 后 , Tang 等 (2019) 进 一 
步 考 察 视 听觉 TOR 效应 , 她 们 采用 的 范式 是 在 
Posner 经 典 的 线索 -靶子 范式 基础 上 增加 中 央 重 新 
定向 事件 (central reorienting event, CRE)， 即 在 线索 
与 目标 的 中 间 将 中 央 注 视点 变 大 变 粗 以 唤起 被 试 
注意 回 到 中 心 位 置 。 结 果 发 现 , 在 视觉 通道 选择 性 
注意 条 件 下 ， 视 听觉 IOR 与 视觉 IJOR 效 应 没有 显著 
差异 ; 而 在 双 通 道 分 配 性 注意 条 件 下 ， 视 听觉 IOR 
显著 小 于 视觉 IOR 效应 。Tang 等 (2019) 认 为 视觉 目 
标 与 同时 呈现 的 、 被 注意 的 听觉 目标 产生 视听 觉 整 
合 提 高 了 视听 觉 目标 的 感知 觉 显著 性 ， 从 而 帮助 其 
抵抗 抑制 效应 (Tang et al., 2019)。 

目前 为 止 仅 有 上 述 两 项 研究 涉及 视听 觉 IOR 
效应 ， 二 者 结果 稍 有 不 同 (Tang et al., 2019; van der 
Stoep et al., 2016)。Tang 等 (2019) 发 现在 双 通 道 分 
配 性 注意 条 件 下 ,， 视 听觉 IOR 效应 虽然 有 所 减弱 ， 
但 尚 存在 显著 的 视听 觉 IOR 效应 ; 而 van der Stoep 
等 2016) 人 研究 中 的 视听 觉 IOR 效应 消失 。 具 体 分 析 
发 现 ， 两 项 研究 所 用 范式 存在 差异 ， 主 要 在 于 强制 


周边 位 置 的 注意 回 到 中 央 注 视点 的 方式 不 同 。van 
der Stoep 等 (2016) 将 中 央 位 置 目标 刺激 的 呈现 比例 
定 为 1/3, 而 Tang 等 (2019) 通 过 增加 中 央 线 索 的 方 
式 使 注意 回 到 中 央 注 视点 的 概率 为 100%。 强 制 被 
试 注意 回 到 中 央 有 助 于 促进 IOR 效应 的 产生 ， 因 此 ， 
概率 为 100% 时 更 容易 促进 视听 觉 IOR 效应 的 发 
生 。 鉴于 这 两 项 研究 所 采用 的 将 注意 引 回 中 央 位 置 
的 方式 差异 较 大 ， 且 实验 任务 有 所 不 同 : Go/No-go 
定位 检测 任务 vs. 检 测 任 务 ， 因 此 难以 确定 视听 觉 
TOR 效应 究竟 是 否 存在 以 及 双 通 道 分 配 性 注意 是 
影响 视听 觉 LOR 效应 ,为 了 平衡 实验 范式 的 影响 ， 
本 研究 根据 Posner 线索 -靶子 范式 ,将 中 央 位 置 目 
标 刺激 的 比例 定 为 60%, HRH Go/No-go 定位 检 
测 任务 , 考察 双 通 道 分 配 性 注意 条 件 (实验 1) 下 视 
听觉 IOR 效应 的 产生 与 变化 , 除 此 之 外 ， 双 通道 分 
配 性 注意 与 通道 选择 性 注意 对 视听 觉 整 合 的 调制 
存在 差异 (Tang et al., 2016)。 在 视觉 通道 选择 性 注 
意 条 件 下 ,视听 觉 整合 对 行为 表现 的 影响 可 以 减弱 
甚至 消除 (Wu et al., 2012)。 因 此 , 实验 2 主要 考察 
在 视觉 通道 选择 性 注意 条 件 下 ， 视 听觉 IOR 效 应 的 
产生 与 变化 。 本 研究 通过 实验 1 与 实验 2 深入 探讨 
双 通 道 分 配 性 注意 对 视听 觉 LOR 效应 的 影响 。 
Ab, Tang 等 (2019) 与 van der Stoep 等 (2016) 
两 项 研究 中 关于 视听 觉 IOR 的 结果 略 有 不 同 , 但 两 
者 均 认为 视听 觉 IOR 效应 减少 或 消失 是 由 于 视听 
觉 整合 的 作用 。 因 此 视听 觉 整合 的 影响 因素 会 有 可 
能 对 视听 觉 LOR 效应 具有 调节 作用 。 上 述 两 项 研究 
中 ,听觉 与 视觉 刺激 均 在 左 / 右 两 侧 呈 现 (Tang et al., 
2019; van der Stoep et al., 2016)， 这 种 空间 一 致 的 
位 置 关 系 可 能 更 容易 发 生 视 听觉 整合 并 影响 视听 
觉 TOR 效应 ,有 人 研究 表明 当 视 觉 和 听觉 刺激 在 相近 
空间 位 置 同时 呈现 时 ， 视 听觉 整 合 效应 最 大 (Frassinetti， 
Bolognini, & Ladavas, 2002)， 而 且 听 党 刺激 与 外 周 
的 视觉 刺激 在 同 侧 呈现 时 的 视听 觉 整合 比 听 觉 刺 
激 在 中 间 位 置 呈 现时 更 强 (Gao et al., 2014)。 因 此 ， 
本 研究 实验 3 将 听觉 刺激 在 中 间 位 置 呈现 ,进一步 
考察 听觉 刺激 的 空间 位 置 对 视听 觉 TOR 效应 的 影响 。 
综 上 , 本 研究 基于 经 典 的 线索 -靶子 范式 ， 结 
合 van der Stoep 等 (2016) 中 的 Go/No-go 定 位 检测 任 
务 , 操控 目标 刺激 类 型 (视觉 、 听 觉 、 视 听觉 )、 线 
索 有 效 性 (有 效 线 索 、 中 性 条 件 、 无 效 线索 ), 通过 3 
个 实验 来 考察 两 个 问题 : (1) 双 通道 分 配 性 注意 对 视 
听觉 TOR 效应 的 影响 ; (2) 听 觉 刺 激 的 空间 位 置 对 视 
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听觉 IOR 效应 的 影响 ,根据 先前 研究 结果 可 以 预期 
的 是 , 在 双 通 道 分 配 性 注意 条 件 下 ， 外 源 性 线索 诱 
发 的 视听 觉 TOR 效应 会 小 于 视觉 TOR 效应 。 


2 实验 1: 双 通 道 分 配 性 注意 条 件 
下 的 视听 觉 IOR 效应 


21 ”研究 方法 
2.1.1 被 试 

招募 辽宁 省 高 校 在 校 学 生 37 名 (男生 8 名 , 女 
生 29 名 )， 最 终 剔 除 被 试 4 人 ,剩余 有 效 被 试 33 名 
(男生 8 名 , 女生 25 名 )。 年 龄 跨度 为 19~27 岁 , M = 
21.06 ¥, SD = 1.85 岁 。 所 有 被 试 均 为 右 利 手 ， 听 
力 、 视 力 或 矫正 视力 正常 , 无 神经 或 精神 疾病 史 ， 
无 脑 部 损伤 史 。 被 试 在 实验 完成 后 会 获得 相应 的 报酬 。 
2.1.2 ”实验 仪器 和 材料 

实验 在 黑暗 的 实验 室 中 进行 , 视觉 刺激 呈现 在 
AOC 液 晶 显 示 器 上 , 型 号 为 G2770PF (270LM00009), 
屏幕 可 视 尺 寸 为 27 英寸 , 屏幕 分 辩 率 为 1024x768 
像素 ,刷新 率 为 100 Hz。 实 验 程 序 由 E-prime 2.0 
软件 编程 , 所 有 视觉 刺激 呈现 背景 为 黑色 ,亮度 指 
标 为 0.4 cd/m”。 被 试 距离 电脑 屏幕 60 cmo WEI 1 
ER, 注视 点 由 白色 (155.2 cd/m”) 的 加 号 “+” 组 成 
(0.05°x0.05°), 外 源 性 线索 为 白色 方 框 (4 x 4°; 水 
平 距离 : 12°; 垂直 距离 : 6*)。 视 觉 目 标 刺激 为 白色 
水 平方 波光 机 (4 x 4°; 垂直 距离 :6%; 空间 频率 : 1 
JEE), 听觉 目标 刺激 采用 SoundEngine Free 软件 
制作 和 处 理 , 为 1000 Hz 的 纯音 (65 dB, 100 ms, 10 ms 


- ----- 视觉 线索 ( 左 / 右 ) 


CD 
Y, 


的 rise 和 fall ttme)， 听 觉 刺 激 通过 位 于 屏幕 后 两 侧 
( 左 / 右 ) 的 扬声器 来 呈现 ( 离 中 央 注 视点 : 19°), 根据 
所 有 被 试 的 口头 报告 ,可 以 准确 判断 左 侧 或 右 侧 听 
觉 刺激 。 视 听觉 目标 刺激 由 同时 呈现 的 视觉 和 听觉 
目标 刺激 组 成 。 
2.1.3 ”实验 程序 与 实验 设计 

实验 阶段 单个 试 次 的 流程 如 图 1 右 所 示 : 首先 ， 
注视 点 在 屏幕 的 中 央 随 机 呈现 800~1000 ms, 接 下 
来 在 屏幕 的 左 / 右 下 方 随机 出 现 视觉 线索 ,呈现 时 
间 为 100 ms, 经 300~500 ms 随机 时 间 间 隔 后 (SOA 
为 400~600 ms), 视觉 目标 刺激 在 屏幕 的 左 / 中 / 右 下 
TER, 听觉 目标 刺激 从 左 / 中 / 右 三 个 方向 呈现 ， 
时 间 为 100 ms, 其 中 有 50% 的 视觉 刺激 伴随 着 听觉 
刺激 呈现 。 最 后 ,注视 点 呈现 1000 ms 以 便 被 试 做 
出 相应 的 反应 。 

实验 采用 3( 目 标 刺 激 类 型 : 视觉 、 听 觉 、 视 听 
觉 ) x 3( 线 索 有 效 性 : 有 效 线索 、 中 性 条 件 、 无 效 线 
索 ) 的 被 试 内 实验 设计 。 包括 练习 和 正式 实验 ,练习 
实验 共 36 个 试 次 , 正式 实验 共 5 组 ,每 组 180 个 试 
次 ,实验 中 刺激 呈现 在 屏幕 左 / 右 下 方 的 比例 均 为 
20% (Go trials)， 呈 现在 中 间 位 置 的 比例 为 60% 
(No-go trials)， 每 个 条 件 下 60 个 试 次 。 用 食指 既 快 
又 准 地 对 左 / 右 两 侧 呈 现 的 目标 刺激 作出 按键 反应 
(GER EBIB”), 对 中 央 呈 现 的 任何 刺激 均 不 反应 ， 
即 中 性 条 件 为 No-go 刺激 。 每 组 结束 后 ,给 予 正确 
次 数 的 反馈 ,被 试 可 以 在 每 组 间 短 暂 休息 ,整个 实 
验 大 约 持续 45 分 钟 。 


注视 点 
800~1000 ms 


100 ms 


oo ISI 
+ 300~500 ms 


人 目标 (V/A/AV) ( 左 /中 / 右 ) 
100 ms 


-- III 


号 

~~ 

|2 

S 1000 ms 
g 
a 


Time 


All 实验 1 流程 示意 图 
TE: 图 左 为 实验 刺激 呈现 位 置 的 示意 图 ， 图 右 为 单个 试 次 的 流程 图 。 图 右 中 视觉 线索 (白色 方 框 ) 呈 现在 左 侧 ， 目 标 ( 视 听觉 ) 也 呈现 在 
左 侧 ( 即 ， 有 效 线索 位 置 ), 要 求 被 试 对 目标 刺激 进行 既 快 又 准 的 检测 反应 。 其 中 ,目标 刺激 (V/A/AV) 分 别 代 表 视 觉 (visual)、 听 觉 
(auditory) 和 视听 觉 (audiovisual) 通 道 目 标 。ISI 是 指 刺 激 间 时 间 间 隔 (inter-stimulus interval), ITI 是 指 试 次 间 的 时 间 间 隔 (inter-trial 


interval)。 
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2.2 ”实验 结果 

E-prime 2.0 用 于 呈现 刺激 并 记录 响应 。 首 先 计 
算 每 个 被 试 的 平均 正确 率 (Accuracy; 简称 ACC) 
和 反应 时 (Reaction time; 简称 RT)。 并 进行 3( 目 标 
刺激 类 型 : 视觉 、 听 觉 、 视 听觉 ) x 2( 线 索 有 效 性 : 
有 效 线索 、 无 效 线索 ) 的 重复 测量 方差 分 析 。 其 次 ， 
为 了 比较 不 同 条 件 下 的 相对 多 感觉 反应 增强 (relative 
amount of multisensory response enhancement, rMRE), 
采用 以 下 公式 对 视听 觉 目标 反应 时 (中 位 数 ) 与 单 通 
道 视觉 、 听 觉 目标 中 最 快 反 应 时 (中 位 数 ) 的 相对 差 


(99%), 表现 出 双 通 道 加 工 优势 ; 线索 有 效 性 的 主 
效应 显著 , F(1, 32) = 8.77, p = 0.006, mp = 0.21, 有 
效 线索 (97%) 显 著 大 于 无 效 线索 (96%) 位 置 上 的 下 
确 反 应 率 ; 目标 刺激 类 型 与 线索 有 效 性 的 交互 作用 
不 显著 , F(2, 64) = 2.87, p = 0.072。 
2.2.2 ”反应 时 

对 反应 时 进行 3( 目 标 刺 激 通 道 ， 听觉 、 视 觉 、 
视听 觉 ) x 2( 线 索 有 效 性 : 有 效 线索 、 无 效 线索 ) 的 
E 复 测量 方差 分 析 。 

结果 如 表 1 及 图 2 所 示 : 目标 刺激 类 型 的 主 效 


党 


中 
Toh 


值 进行 计算 。rMRE 值 反 映 了 与 单 通道 视觉 、 听 觉 
目标 中 最 短 的 反应 时 相 比 , 个 体 对 视听 觉 目标 反应 
时 的 加 速 或 减速 的 相对 量 ,代表 多 感觉 反应 增强 效 
应 (Tang et al., 2019; van der Stoep et al., 2016)。 然 后 
进行 配对 样本 t 检 验 比 较 有 效 线 索 与 无 效 线索 位 置 
上 的 IMRE。 

rMRE = 


min(median( RT, ),median(RTy ))—median(RTy ) 
x 
min(median( RT, ),median(RT, )) 


100% 

数据 分 析 之 前 ， 按 以 下 标准 剔除 被 试 : (1) 个 人 
反应 时 或 正确 率 超 出 总 平均 反应 时 、 正 确 率 的 正 负 
3 个 标准 差 。) 个 人 反应 时 小 于 100 ms 或 大 于 1000 mso 
2.2.1 正确 率 

被 试 正确 反应 率 为 97%， 正 确 拒绝 率 为 97%， 
对 正确 率 进 行 3( 目 标 刺 激 类 型 : 视觉 、 听 觉 、 视 听 
i) x 2( 线 索 有 效 性 : 有 效 线索 、 无 效 线索 ) 的 重复 
测量 方差 分 析 。 结 果 如 表 1 所 示 : 目标 刺激 类 型 的 
主 效 应 显著 , F(2, 64) = 30.63, p < 0.001, n = 0.48, 
听觉 目标 正确 反应 率 (95%) 显 著 小 于 视觉 目标 (97%)， 
视觉 目标 正确 反应 率 (97%) 显 著 小 于 视听 觉 目标 


应 显著 , F(2, 64) = 51.95, p < 0.001, n, = 0.61, 视听 
觉 目标 反应 时 (447 ms) 显 著 小 于 视觉 目标 (470 ms), 
视觉 目标 反应 时 (470 ms) 显 著 小 于 听觉 目标 (508 ms), 
出 现 双 通 道 加 工 优势 ; 线索 有 效 性 的 主 效 应 不 显著 ， 
F(1, 32) = 0.50, p = 0.484; 目标 刺激 类 型 和 线索 有 
效 性 的 交互 作用 显著 , F(2, 64) = 21.83, p < 0.001, 
mm = 0.41, 简单 效应 分 析 结 果 显 示 ， 在 听觉 目标 上 ， 
有 效 线 索 位 置 上 的 反应 时 (M = 498 ms, SD = 73 ms) 
显著 小 于 无 效 线索 位 置 (M = 519 ms, SD = 83 ms, 
t(32) = -4.50, p < 0.001, d = 1.59, 95% CI = [-30.92, 
-11.66])， 发 生 易 化 效应 ; 在 视觉 目标 上 ， 有 效 线 
索 位 置 (M = 476 ms, SD = 63 ms) 上 的 反应 时 显著 大 
于 无 效 线索 位 置 (M = 465 ms, SD = 70 ms, t(32) = 
2.279, p = 0.029, d = 0.80, 95% CI = [1.15, 20.52]), 
RÆ TOR 效应 ; 而 在 视听 觉 目标 上 ， 有效 线 索 (M = 
449 ms, SD = 61 ms) 与 无 效 线索 (M = 446 ms, SD = 
65 ms) 位 置 上 的 反应 时 差异 不 显著 。 

同时 计算 各 目标 刺激 类 型 的 线索 化 效应 
(Cueing Effect, CE: 指 有 效 线索 位 置 减 去 无 效 线索 
位 置 上 的 平均 反应 时 ), 对 各 目标 刺激 类 型 的 CE 进 
行 配对 样本 t 检 验 , 如 表 2 所 示 , 发 现 视听 觉 (M = 3 ms, 


表 1 实验 1~3 不 同 条 件 下 的 正确 率 与 反应 时 (M+SD) 


SA fess uted A , 实验 1 实验 2 实验 3 
目标 刺激 类 型 ”线索 有 效 性 
ACC (%) RT (ms) ACC (%) RT (ms) ACC (%) RT (ms) 
AV 有 效 线索 99+1 449 + 61 99+1 418 +37 97+5 425477 
无 效 线索 99+1 446 + 65 99 +1 401 +35 96 +6 408 + 79 
V 有 效 线索 97 +3 476 + 63 9842 432 +37 9549 452 + 81 
无 效 线索 97 +3 465 +70 99 +2 432 + 36 9547 431480 
A 有 效 线索 96+2 498 + 73 =- — = — 
无 效 线索 9444 519 +83 n — = — 


注 :目标 刺激 类 型 (V/A/AV) 分 别 代 表 视 觉 (visual)、 听 觉 (auditory) 和 视听 觉 (audiovisual) 通 道 日 标 , ACC 代表 平均 正确 率 (Accuracy, %), 


RT 代表 平均 反应 时 (Reaction time, ms)。 
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国 有 效 线索 
口 无 效 线索 


平均 反应 时 (ms) 
è à 
5 ô 


w 
wn 
© 


听觉 视觉 
图 2 实验 1 不 同 目标 刺激 类 型 和 线索 有 效 性 下 的 平均 
反应 时 (*p < 0.05, ***p < 0.001) 


视听 党 


表 2 实验 1~3 不 同 条 件 下 CE、rMRE 结果 对 比 


实验 条 件 M SIA = t p 
下 限 ”上 限 

实验 1 

CE V 10.83 1.15 20.52 2.27 0.029 
A 21.29 -30.92 -11.66 -4.50 0.000 
AV 2.78 -6.27 11.84 0.62 0.538 

CE 对 比 = AV vs. V 8.05 -14.83 -1.26 -2.41 0.022 

tMRE 有 效 4.08 2.90 5.27 7.01 0.000 
无 效 2.38 0.88 3.87 3.24 0.003 


rMRE 对 比 有 效 vs. 无 效 1.70 0.24 3.16 2.38 0.023 


实验 2 

CE V 9.47 0.68 18.26 2.20 0.036 
AV 17.25 7.14 27.35 3.49 0.002 

CE 对 比 AV vs. V 7.78 -0.91 16.46 1.83 0.077 

tMRE 有 效 2.01 0.25 3.76 2.33 0.026 
无 效 3.42 1.42 5.42 3.50 0.002 

rMRE 对 比 有 效 vs 无 效 -1.41 -3.51 0.68 -1.37 0.178 

实验 3 

CE V 20.35 5.62 35.08 2.80 0.008 
AV 17.02 4.18 29.86 2.68 0.011 

CE 对 比 AV vs. V -3.33 -13.94 7.27 -0.63 0.528 

tMRE 有 效 4.75 2.96 6.55 5.36 0.000 
无 效 4.89 2.75 7.04 4.62 0.000 


rMRE 对 比 有效 vs. 无 效 -0.14 -2.25 1.97 -0.13 0.893 


注 : M (ms) 为 平均 数 , 95% CI 为 95% 置 信 区 间 , CE (ms) 代 表 线 


索 化 效应 (Cueing Effect), rMRE (%) 代 表 相 对 多 感觉 反应 增强 。 
有 效 vs. 无 效 代 表 对 有 效 线索 与 无 效 线索 进行 配对 样本 UB) 


检验 。 


SD = 25.54 ms) 线 索 化 效应 显著 小 于 视觉 M = 11 ms, 
SD = 27.32 ms, t(32) = -2.41, p = 0.022, d = 0.85, 
95% CI = [-14.83, -1.26]). 
2.2.3 ”相对 多 感觉 反应 增强 (rMRE) 

如 表 2 及 图 3 所 示 : 首先 对 不 同 线索 有 效 性 的 


rMRE 进行 单 样本 上 检验 (与 0 进行 比较 ), 结果 显示 
有 效 线索 位 置 上 的 rMRE 显著 大 于 0, t(32) = 7.019， 
p < 0.001; 无 效 线索 位 置 上 的 rMRE 也 显著 大 于 0, 
t(32) = 3.242, p = 0.003。 随 后 对 不 同 线索 有 效 性 进 
行 配对 样本 t 检验 发 现 ， 有 效 线 索 与 无 效 线索 位 置 
上 的 MRE 有 显著 差异 ， 有 效 线索 (M = 4.08%, SD = 
3.34 %) 显 著 大 于 无 效 线索 位 置 (M = 2.38%, SD = 
4.21%, t(32) = 2.385, p = 0.023, d = 0.84, 95% CI = 
[0.24, 3.16]) 上 的 rMRE. 

10 


| 国 有 效 线索 


,| DERRR 


Relative MRE (%) 
a 
T 
* 


有 效 线索 无 效 线索 


图 3 实验 1 不 同 线索 有 效 性 下 的 rMRE 
注 :rMRE (相对 多 感觉 反应 增强 ; relative amount of multisensory 


response enhancement); *p < 0.05. 


2.3 oh 

实验 1 基于 线索 -靶子 范式 , 通过 操控 不 同 目 
标 刺 激 类 型 (视觉 、 听 觉 、 视 听觉 ), 线索 有 效 性 (有 
效 线索 、 中 性 条 件 、 无 效 线索 ) 来 考察 双 通 道 分 配 
性 注意 条 件 下 的 视听 觉 TOR 效应 。 结果 发 现 ， 视觉 
目标 产生 IOR 效应 ,而 听觉 目标 产生 易 化 效应 。 听 
觉 目标 未 产生 IOR 效应 的 主要 原因 可 能 是 由 于 
SOA 与 实验 任务 。 首 先 ， 以 往 研究 发 现在 SOA 为 
1050~1350 ms 之 间 产 生 蜂 通道 (视觉 线索 -听觉 目 
标 )IOR 效应 (Spence et al.,，2000)， 也 就 是 说 , 产生 
跨 通道 (视觉 线索 -听觉 目标 )IOR 效应 比 单 通道 ( 视 
觉 线 索 - 视 觉 目标 )IOR 效应 需要 更 长 的 SOA (Mcdonald 
& Ward, 1999; Spence et al., 2000), 本 实验 中 的 SOA 
(400~600 ms) 不 足以 产生 听觉 目标 IOR 效应 。 其 次 ， 
本 实验 中 使 用 的 检测 任务 可 能 不 适合 考察 听觉 目 
标的 定向 (Schmitt, Postma, & de Haan, 2000)， 而 辩 
别 任务 可 能 更 适合 (Roggeveen, Prime, & Ward, 2005)。 
另外 , 在 视听 觉 目标 上 ,本 实验 与 van der Stoep 等 
(2016) 中 均 未 得 到 视听 觉 IOR 效应 , 而 Tang 等 
(2019) 中 产生 视听 觉 目标 IOR 效应 (Tang et al., 2019; 
van der Stoep et al., 2016)。 关 于 影响 视听 觉 IOR 效 
应 产生 的 因素 , 具体 将 在 总 讨论 中 进一步 论述 。 


nL: vi Af HOT 
ChinaX iv@ ESA Fl 


262 心 理 ae 报 第 52 卷 
除 此 之 外 , 本 实验 中 有 效 线 索 位 置 上 的 视听 觉 3.2.1 正确 率 


整合 大 于 无 效 线索 位 置 ( 如 图 3)。 而 以 往 研 究 均 发 
现 外 源 性 注意 减弱 子 有 效 线索 位 置 上 的 视听 觉 整 
RE, BAM, Fat, ERA, GEM, 2019; 
Tang et al., 2019; van der Stoep et al., 2016)。 关 于 外 
源 性 注意 对 视听 觉 整合 的 调节 作用 ， 具 体 将 在 总 讨 
论 中 进一步 论述 。 


3 实验 2: 视觉 通道 选择 性 注意 条 
件 下 的 视听 觉 IOR 效应 


3.1 ”研究 方法 
3.1.1 ”被 试 

共 招 募 32 名 辽宁 省 高 校 在 校 学 生 ( 男 生 7 名 ， 
女生 25 Z), MARI Bik 2A, BAA BBX 30 
人 (男生 7 名 , 女生 23 Z) 年 龄 跨度 为 19~27 岁 , M = 
22.70 岁 , SD = 2.29 岁 。 所 有 被 试 均 为 右 利 手 ， 听力 
TER, 视力 或 矫正 视力 正常 , 无 神经 或 精神 疾病 史 ， 
无 脑 部 损伤 史 。 被 试 在 实验 完成 后 会 获得 相应 的 报酬 。 
3.1.2 ”实验 仪器 和 材料 

实验 2 中 视觉 刺激 呈现 在 DELL 液晶 显示 器 上 ， 
型 号 为 E2213c, 屏幕 可 视 尺寸 为 21 英寸 ,刷新 率 
为 75 Hz, 其 他 与 实验 1 相同 。 
3.1.3 ”实验 程序 与 实验 设计 

实验 2 中 听觉 刺激 伴随 50% 的 视觉 刺激 从 左右 
两 侧 的 扬 声 需 发 出 ( 离 中 央 注 视点 : 19°), 根据 所 有 
被 试 的 口头 报告 ,可 以 准确 判断 左 侧 或 右 侧 听觉 刺 
激 。 实 验 任务 与 实验 1 不 同 , 要 求 被 试 忽略 与 视觉 
刺激 同时 呈现 的 声音 ,用 食指 既 快 又 准 地 对 左右 两 
侧 呈 现 的 视觉 目标 刺激 作出 按键 反应 (键盘 上 的 
“B”),， 对 中 央 呈 现 的 视觉 刺激 不 反应 ,整个 实验 大 
约 持 续 45 分 钟 ， 其 他 与 实验 1 相同 。 

实验 2 采用 2( 目 标 刺 激 类 型 ; 视觉 、 视 听觉 ) x 
3( 线 索 有 效 性 : 有 效 线索 、 中 性 条 件 、 无 效 线索 ) 
的 实验 设计 。 包括 练习 和 正式 实验 , 练习 实验 共 36 
个 试 次 , 正式 实验 共 5 组 ,每 组 180 个 试 次 , 每 个 
条 件 下 60 个 斌 次, 其 他 与 实验 1 相同 。 
3.2 ”实验 结果 

实验 2 只 有 视觉 刺激 一 种 单 通 道 目 标 , 因此 通 
过 以 下 公式 来 计算 rMRE (Tang et al., 2019)。 然 后 


所 有 被 试 正确 反应 率 与 正确 拒绝 率 均 为 99%, 
对 正确 率 进行 2( 目 标 刺 激 类 型 : 视觉 、 视 听觉 ) x 
2( 线 索 有 效 性 : 有 效 线索 、 无 效 线索 ) 的 重复 测量 方 
差分 析 。 

结果 显示 目标 刺激 类 型 的 主 效应 显著 , FL, 29) = 
5.50, p = 0.026, mp = 0.16, 视听 觉 目标 (99%) 显 著 大 
于 视觉 目标 (98.5%) 的 正确 率 ， 表现 出 双 通 道 的 加 
工 优势 ; 线索 有 效 性 的 主 效应 不 显著 , F(1，29) = 
0.25, p = 0.623, 两 者 的 交互 作用 也 不 显著 , F(1, 29) = 


0.69, p = 0.614。 
3.2.2 ”反应 时 


对 反应 时 进行 2( 目 标 刺激 类 型 : 视觉 、 视 听觉 ) x 
2( 线 索 有 效 性 : 有 效 线索 、 无 效 线索 ) 的 重复 测量 方 
差分 析 。 

如 表 1 和 图 4(a) 所 示 ， 目 标 刺 激 类 型 的 主 效应 
显著 , F(1, 29) = 32.94, p < 0.001, mp = 0.53, 对 视听 
觉 目标 (410 ms) 的 反应 速度 要 比 视觉 目标 (427 ms) 
快 ; 线索 有 效 性 的 主 效应 显著 , FC, 29) = 10.54, p < 
0.003, mp = 0.27， 有 效 线索 位 置 上 的 平均 反应 时 
(425 ms) 比 无 效 线索 (412 ms) 慢 , 证 明了 IOR 效应 
的 产生 ; 目标 刺激 类 型 和 线索 有 效 性 的 交互 作用 不 
显著 , F (1, 29) = 3.36, p = 0.077。 视 觉 与 视听 觉 目 
标的 TOR 效应 量 没有 显著 差异 。 

同时 计算 各 目标 刺激 类 型 的 CE， 并 对 各 目标 
刺激 类 型 的 CE 进行 配对 样本 上 检验 ,如 表 2 所 示 ， 
发 现 视觉 目标 (M = 9.97 ms, SD =22.93 ms) 与 视听 
觉 目 标 (M = 17.56 ms, SD = 26.22 ms) 抑 制 量 没 有 显 
著 差 异 , t (29) = 1.83, p = 0.077。 

3.2.3 ”相对 多 感觉 反应 增强 (rMRE) 

首先 对 线索 有 效 性 的 不 同 条 件 进行 单 样 本 t 检 
i, 如 表 2 与 图 4(b) 所 示 ， 在 有 效 线索 [t(29) = 2.33, 
p = 0.026] 与 无 效 线索 位 置 上 rMRE [t(29) = 3.50, p 
= 0.002] 均 显著 大 于 0。 配 对 样本 上 检验 发 现 ， 有效 
线索 (M = 2.01%, SD = 4.69%) 与 无 效 线索 (M = 3.42, 
SD = 5.35%) 位 置 上 的 rMRE 没有 显著 差异 , t(29) = 
—1.37, p = 0.178。 

3.3 ”小结 
实验 2 目的 在 于 考察 视觉 通道 选择 性 注意 条 件 


进行 配对 样本 上 检验 比较 有 效 线索 与 无 效 线索 位 置 
上 的 TIMRE,， 其 他 与 实验 1 相同 。 

median( RT, )—median(RT ay ) 
= median(RT, ) 


剔除 被 试 标准 同 实验 1。 


rMRE x100% 


下 的 视听 觉 IOR 效应 。 本 实验 与 Tang 等 (2019) 均 
发 现 视 觉 与 视听 觉 目 标 产生 TOR 效应 ， 且 二 者 无 显 
著 差 异 (Tang et al., 2019); 而 实验 1 中 在 双 通 道 分 
配 性 注意 条 件 下 , 未 产生 视听 觉 IOR 效应 。 另 外 ， 
本 实验 与 Tang 等 (2019) 中 均 发 现 有 效 线索 位 置 与 


~ 
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图 4 实验 2 不同 条 件 下 的 平均 反应 时 和 rMRE 
TE: (a) 不 同 目标 刺激 类 型 和 线索 有 效 性 下 的 平均 反应 时 (*p < 0.05, **p < 0.01)。(b) 不 同 线 索 有 效 性 下 的 rMRE (相对 多 感觉 反应 增 


强 ; relative amount of multisensory response enhancement)。 


无 效 线索 位 置 上 的 视听 党 整合 没有 显著 差异 (Tang 
et al，2019)， 而 实验 1 中 ， 外 源 性 注意 增强 了 有 效 
线索 位 置 上 的 视听 觉 整 合 。 基 于 实验 1 与 实验 2 的 
结果 ， 双 通道 分 配 性 注意 会 影响 视听 觉 IOR 效应 ， 
外 源 性 注意 对 视听 觉 整合 具有 调节 作用 。 具 体 将 在 
总 讨论 中 进一步 讨论 。 


4 实验 3: 听觉 刺激 的 空间 位 置 对 
视听 觉 IOR 效应 的 影响 


41 ”研究 方法 
4.1.1 被 试 

共 招 募 39 名 辽宁 省 高 校 在 校 学 生 (男生 12 名 ， 
女生 27 名 )， 最 终 剔 除 被 试 1 人 ,剩余 有 效 被 试 38 
人 (男生 12 名 , 女生 26 名 )， 年 龄 跨度 为 18~28 岁 ， 
M = 22.18 岁 , SD = 2.61 岁 。 所 有 被 试 均 为 右 利 手 ， 
听力 正常 ， 视 力 或 矫正 视力 正常 ， 无 神经 或 精神 疾 
病史 , 无 脑 部 损伤 史 。 被 试 在 实验 完成 后 会 获得 相 


应 的 报酬 。 
4.1.2 ”实验 仪器 和 材料 
同 实 验 1。 


4.1.3 ”实验 程序 与 实验 设计 

实验 3 中 听觉 刺激 从 屏幕 后 中 央 的 扬声器 呈现 ， 
根据 被 试 的 口头 报告 ， 能 准确 的 判断 听觉 刺激 从 中 
央 位 置 发 出 ,要求 被 试 忽略 与 50% 视 觉 刺激 同时 呈 
现 的 声音 ， 用 食指 既 快 又 准 地 对 左右 两 侧 呈 现 的 视 
觉 目标 刺激 作出 按键 反应 (键盘 上 的 “B”)， 对 中 央 
注视 点 正 下 方 呈 现 的 刺激 不 反应 ， 整 个 实验 大 约 持 
续 40 分 钟 。 

实验 3 采用 2( 目 标 刺 激 类 型 : 视觉 、 视 听觉 ) x 
3( 线 索 有 效 性 : 有 效 线索 、 中 性 条 件 、 无 效 线索 ) 
的 被 试 内 实验 设计 。 包 括 练 习 和 正式 实验 , 练习 实 


验 共 24 个 试 次 , 正式 实验 共 5 组 ,每 组 160 个 试 次 ， 
每 个 条 件 下 80 个 试 次 , 其 他 与 实验 2 相同 。 
4.2 ”实验 结果 
数据 分 析 与 吻 除 被 试 标准 同 实验 1。 
正确 率 

被 试 正 确 反 应 率 为 98%, 正确 拒绝 率 为 98%, 
对 正确 率 进 行 2( 目 标 刺激 类 型 : 视觉 、 视 听觉 ) x 
2( 线 索 有 效 性 : 有 效 线索 、 无 效 线索 ) 的 重复 测量 方 
差分 析 。 

如 表 1 所 示 , 目标 刺激 类 型 主 效应 显著 ,，F(1， 
37) = 12.45, p = 0.001, n, = 0.25, 视听 觉 目标 (96%) 
显著 大 于 视觉 目标 (95%) 的 正确 反应 率 ， 表现 出 双 
通道 加 工 优势 ; 线索 有 效 性 主 效 应 不 显著 , F, 37) = 
0.73, p = 0.396; 目标 刺激 类 型 与 线索 有 效 性 交互 
作用 也 不 显著 , F(1, 37) = 2.55, p = 0.119。 
4.2.2 ”反应 时 

对 反应 时 进行 2( 目 标 刺激 类 型 : 视觉 、 视 听觉 ) x 
2( 线 索 有 效 性 : 有 效 线索 、 无 效 线索 ) 的 重复 测量 方 
差分 析 ， 具 体 结 果 见 表 1 与 图 5(a)。 目 标 刺激 类 型 
的 主 效 应 显著 , FO, 37) = 46.40, p < 0.001, mp = 0.55, 
视觉 目标 的 平均 反应 时 (441 ms) 显 著 大 于 视听 觉 目 
标的 平均 反应 时 (416 ms); 线索 有 效 性 的 主 效应 显 
著 , F(1, 37) = 8.80, p = 0.005, mp = 0.19， 有 效 线索 
位 置 上 的 平均 反应 时 (438 ms) 显 著 大 于 无 效 线索 位 
置 (419 ms)， 表 明 产 生 IOR 效应 。 然 而 , 目标 刺激 
类 型 和 线索 有 效 性 的 交互 作用 并 不 显著 , F(1, 37) = 
0.40, p = 0.528, 说 明 视 觉 目标 和 视听 觉 目标 的 IOR 
之 间 没 有 显著 差异 。 

同时 计算 各 目标 刺激 类 型 下 的 CE， 并 对 其 进 
行 配对 样本 t 检 验 ， 如 表 2 tos, 发 现 视觉 (M = 20 ms, 
SD = 44.82 ms) 与 视听 觉 目标 (M = 17 ms, SD = 


4.2.1 
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图 5” 实验 3 不 同 条 件 下 的 平均 反应 时 和 rMRE 

TE: (a) 不 同 目 标 刺 激 类 型 和 线索 有 效 性 下 的 平均 反应 时 (*p < 0.05, **p < 0.01)。(b) 不 同 线索 有 效 性 下 的 (MRE (相对 多 感觉 反应 增 


强 ; relative amount of multisensory response enhancement), 


39.06 mas) 的 抑制 量 不 存在 显著 差异 , (37) = —0.63, 
p = 0.528。 
4.2.3. ”相对 多 感觉 反应 增强 CrMRE) 

首先 对 线索 有 效 性 的 不 同 条 件 进 行 单 样本 上 检 
验 ， 如 表 2 及 图 5(b) 所 示 ， 在 有 效 线索 (t(37) = 5.36, 
p < 0.001) 与 无 效 线索 位 置 上 的 rMRE (t(37) = 4.62, 
p< 0.001) 均 显著 大 于 0。 配 对 样本 t 检 验 发 现 ， 有 
效 线索 (M = 4.75%, SD = 5.47%) 与 无 效 线索 位 置 上 
的 rMRE (M = 4.89%, SD = 6.52%) 不 存在 显著 差异 ， 
t(37) = —0.13, p = 0.893。 
4.3 ”小 结 

实验 3 主要 考察 听觉 刺激 的 空间 位 置 对 视听 觉 
IOR 效 应 的 影响 .对 比 实验 2 与 实验 3 结果 发 现 , 在 
视觉 通道 选择 性 注意 条 件 下 ,无 论 听 觉 刺 激 在 中 央 
还 是 外 周 位 置 呈现 , 视觉 IOR 效 应 与 视听 觉 IOR 效 
应 均 没有 显著 差异 ( 见 表 2)。 且 有 效 线索 与 无 效 线 
索 位 置 上 的 视听 觉 整合 均 没 有 显著 差异 。 基 于 此 ， 
本 研究 未 能 观察 到 听觉 刺激 的 空间 位 置 对 视听 觉 
IOR 效应 的 影响 , 具体 原因 将 在 总 讨论 中 进一步 论述 。 


5 总 讨论 


本 人 研究 基于 线索 -肚子 范式 , 结合 Go/No-go 定 
位 检测 任务 , 操纵 目标 刺激 类 型 (视觉 、 听 觉 、 视 听 
觉 ) 与 线索 有 效 性 (有 效 线索 、 中 性 条 件 、 无 效 线索 ) 
两 个 自 变 量 , 通过 3 个 实验 来 考察 双 通 道 分 配 性 注 
意 对 视听 觉 TOR 效应 的 影响 。 研究 结果 发 现 , 在 双 
通道 分 配 性 注意 条 件 下 ,视听 觉 目标 没有 产生 IOR 
效应 ; 在 视觉 通道 选择 性 注意 条 件 下 ， 无论 听 觉 刺 
激 呈 现在 中 央 还 是 外 周 位 置 , 视觉 与 视听 觉 目标 
TOR 效应 均 无 显著 差异 。 结 果 表 明 ， 双 通道 分 配 性 
注意 减弱 视听 觉 IOR 效应 。 


et 


有 效 线索 
线索 有 效 性 


无 效 线索 


5.1 ” 双 通 道 分 配 性 注意 对 视听 觉 IOR 效应 的 影响 

在 反应 时 结果 上 , 视听 觉 目 标的 反应 时 均 显著 
快 于 视觉 、 听 党 目标 ， 即 产生 宛 余 信号 效应 ,表明 
了 双 通 道 信 息 的 加 工 优势 ( 见 表 1), 这 与 以 往 人 研究 
结果 一 致 (Tang et al., 2019; van der Stoep et al., 
2016)。 另 外 , 在 视觉 通道 选择 性 注意 条 件 下 (实验 2 
与 实验 3), 本 研究 与 Tang 等 (2019) 均 发 现 显著 的 视 
听觉 TOR 效应 且 其 大 小 与 视觉 TOR 效应 没有 显著 
差异 ,在 双 通 道 分 配 性 注意 条 件 下 (实验 1)， 本 研究 
与 van der Stoep 等 (2016) 均 未 发 现 显 著 的 视听 觉 
IOR 效应 (van der Stoep et al., 2016), Tang 等 (2019) 
中 发 现 显 著 的 视听 觉 IOR 效应 , 且 其 显著 小 于 视觉 
IOR 效应 (Tang et al., 2019)。 

本 研究 与 Tang 等 (2019) 均 发 现在 双 通 道 分 配 
性 注意 条 件 下 , 视听 觉 IOR 效应 会 减弱 甚至 消失 ， 
表明 双 通 道 分 配 性 注意 可 能 是 影响 视听 觉 IOR 效 
应 的 关键 因素 。 以 往 研 究 发 现在 双 通 道 分 配 性 注意 
条 件 下 ,被 注意 的 听觉 目标 与 视觉 目标 同时 呈现 产 
生 视 听觉 整合 ， 这 会 增强 该 视觉 目标 的 感知 觉 显著 
性 ,使 视觉 目标 从 复杂 的 环境 中 凸显 出 来 ( 彭 姓 等 ， 
2019; van der Burg et al., 2011)。 而 IOR 是 一 种 使 注 
意 从 旧 ( 有 效 线索 ) 位 置 转向 新 (无 效 线索 ) 位 置 以 促 
进 视觉 搜索 效率 的 机 制 (Klein，1988; Klein，2000; 
Posner, Rafal, Choate, & Vaughan, 1985), 会 减弱 在 
有 效 线索 位 置 上 目标 的 感知 觉 显 著 性 (Prime，Tata， 
& Ward, 2003; Satel, Hilchey, Wang, Story, & Klein, 
2013)。 也 就 是 说 ,视觉 目标 与 同时 呈现 的 、 被 注意 
的 听觉 目标 发 生 视 听觉 整合 提高 了 视听 觉 目 标的 
感知 觉 显著 性 ， 从 而 帮助 视听 觉 目标 抵抗 抑制 效应 
(Tang et al., 2019)。 当 通过 视听 觉 整 合 增 强 的 感知 
觉 显著 性 能 力 足 够 强 ， 能够 与 IOR 效应 导致 的 感知 
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觉 显 著 性 降低 相 抗衡 时 ， 视 听觉 LOR 效应 就 可 能 消 
失 。 但 本 研究 在 视觉 通道 选择 性 注意 条 件 下 ， 发 现 
了 显著 的 视听 觉 TOR 效应 且 其 大 小 与 视觉 TOR 效 
应 并 无 显著 差异 。 这 可 能 是 因为 选择 性 注意 会 增强 
对 所 选择 信息 的 感觉 神经 反应 并 抑制 无 关 反 应 (Beck 
& Kastner, 2009; Mishra, Bavelier, & Gazzaley, 2012)。 
在 特定 通道 选择 性 注意 条 件 下 ， 视 听觉 整合 效应 可 
以 减弱 甚至 消失 (Mozolic, Hugenschmidt, Peiffer, & 
Laurienti，2008)。 当 注意 选择 性 地 处 理 与 视觉 目 标 
相关 的 信息 时 ， 对 此 信息 的 神经 反应 被 增强 ， 而 对 
听觉 信息 的 神经 反应 则 被 抑制 。 因 此 , 在 视觉 通道 
选择 性 注意 的 条 件 下 视听 觉 整合 效应 可 能 减弱 ， 导 
致使 视听 觉 整 合 增 强 感 知觉 显著 性 的 能 力 降低 ， 帮 
助 视 听觉 目标 抵抗 抑制 效应 的 能 力也 随 之 降低 ， 进 
而 得 到 与 视觉 IOR 无 差异 的 显著 的 视听 觉 目标 IOR 

另外 ,在 双 通 道 分 配 性 注意 条 件 下 ， 本 研究 与 
Tang 等 (2019) 中 关于 视听 觉 IOR 效 应 产生 的 结果 不 
E, 其 可 能 是 受 以 下 两 点 因素 影响 : (1) 实 验 范 式 中 
强制 周边 位 置 的 注意 回 到 中 央 注 视点 的 方式 。 本 研 
究 将 中 央 位 置 目 标 刺激 的 呈现 设置 为 一 定 比例 
(60%), van der Stoep 等 (2016) 将 中 央 位 置 目 标 刺激 
的 呈现 比例 定 为 /3, 而 Tang 等 (2019) 中 采用 加 入 
中 央 重 新 定向 线索 的 方式 使 注意 回 到 中 央 注 视点 
的 概率 为 100%。 有 研究 表明 增加 中 央 线 索 的 方式 
能 够 促进 IOR 效应 的 产生 (Pratt & Fischer, 2002; 
Reuter-Lorenz & Rosenquist，1996)， 本 研究 与 van 
der Stoep 等 2016) 中 采用 将 中 央 位 置 目 标 刺激 的 呈 
现 设置 为 一 定 比例 的 方式 可 能 不 易 产 生 视 听觉 
TOR 效应 。(2) 实 验 任务 。 本 研究 与 van der Stoep 等 
(2016) 均 采用 Go/No-go 定位 检测 任务 , 而 Tang 等 
(2019) 中 采用 简单 的 检测 任务 。 有 研究 表明 , 相 比 
任务 难度 较 简单 的 检测 任务 , 辨别 任务 中 视觉 IOR 
的 出 现 不 仅 需 要 更 长 的 SOA 而 且 其 效应 量 更 小 
(Chica, Lupianez, & Bartolomeo, 2006; Lupiafiez et al., 
1997; Lupidfiez, Ruz, Funes, & Milliken, 2007). 因此 ， 
根据 以 往 研究 中 实验 任务 对 视觉 IOR 效应 的 影响 ， 
其 可 能 也 对 视听 觉 IOR 效应 产生 影响 , 相 比 Tang 
等 2019) 中 的 检测 任务 ,本 研究 与 van der Stoep 等 
(2016) 中 的 Go/No-go 定位 检测 任务 可 能 更 难 诱发 
出 视听 觉 目 标 IOR 效应 (Tang et al., 2019; van der 
Stoep et al., 2016). 

此 外 , 本 研究 未 观察 到 在 视觉 通道 选择 性 注意 
条 件 下 ,听觉 刺激 的 空间 位 置 对 视听 觉 TOR 效应 的 


影响 ,根据 Gao 等 人 的 ERP (Event-related Potential) 
研究 , 在 N1 (180~200 ms) 成 分 上 ,听觉 刺激 与 视觉 
刺激 在 同 侧 呈 现时 的 视听 觉 整 合 比 听觉 刺激 在 中 
间 位 置 呈 现时 更 强 ， 且 在 刺激 后 约 190 ms 达到 峰 
值 (Gao et al., 2014)。 因 此 ,听觉 刺激 的 空间 位 置 对 
视听 觉 整合 的 影响 可 能 仅 体 现在 早期 ERP 成 分 上 ， 
在 行为 学 实验 中 无 法 观察 到 。 还 可 能 是 由 于 体现 听 
党 刺激 空间 位 置 影 响 视 听觉 整合 的 早期 ERP 成 分 
不 是 视听 觉 TOR 效应 的 关键 神经 标记 ,所 以 我 们 未 
能 观察 到 听觉 刺激 的 空间 位 置 通过 调节 视听 觉 整 
合 进 而 影响 视听 觉 IOR 效应 的 现象 。 未 来 可 通过 
ERP 技术 进一步 验证 听觉 刺激 的 空间 位 置 、 视 听觉 
整合 以 及 视听 觉 IOR 效应 的 神经 联结 。 
5.2 ”外 源 性 注意 对 视听 觉 整 合 的 调节 作用 

当前 研究 结果 发 现 ,在 双 通道 分 配 性 注意 条 件 
下 ， 有 效 线索 位 置 上 的 视听 党 整合 显著 大 于 无 效 线 
索 位 置 ( 见 图 3); 在 视觉 通道 选择 性 注意 条 件 下 ， 
有 效 线索 与 无 效 线索 位 置 上 的 视听 觉 整 合 没有 显 
著 差 异 ( 见 图 4(b) 与 图 5(b) )。 而 van der Stoep 等 
(2016) 与 Tang 等 (2019) 发 现在 双 通 道 分 配 性 注意 条 
件 下 ， 有 效 线索 位 置 上 的 视听 觉 整 合 显著 小 于 无 效 
线索 位 置 (Tang et al., 2019; van der Stoep et al., 2016). 
彭 姓 等 (2019) 在 与 本 研究 相同 的 SOA (400~600 ms) 
条 件 下 也 发 现 ， 有 效 线索 位 置 上 的 视听 觉 整合 显著 
小 于 无 效 线索 位 置 。 

基于 上 述 对 比 结 果 ， 以 往 研 究 均 发 现 外 源 性 注 
意 减 弱 了 有 效 线索 位 置 上 的 视听 觉 整 合 ( 彭 姓 等 , 2019; 
Tang et al., 2019; van der Stoep et al., 2016)， 而 本 研 
究 发 现 外 源 性 注意 增强 了 有 效 线索 位 置 上 的 视听 
HEER BARWA Tang 等 (2019) E2019) 
在 相同 的 SOA (400~600 ms) 条 件 下 得 到 不 同 的 结 
FR, 但 并 无 法 完全 排除 SOA 对 外 源 性 注意 调 市 视 
听觉 整合 的 影响 。 示 来 的 研究 还 需要 进一步 调控 
SOA 变量 , 继续 考察 在 不 同 SOA 条 件 下 外 源 性 注 
意 对 视听 觉 整 合 效 应 的 调节 作用 。 男 外 ,目前 关于 
外 源 性 注意 对 视听 觉 整合 的 调节 机 制 ，van der 
Stoep 等 人 在 不 同 SOA 条 件 下 提出 三 种 不 同 的 理论 
假说 , 包括 空间 不 确定 性 、 感 知觉 敏感 度 以 及 感觉 
道 间 信号 强度 差异 假说 (van der Stoep et al., 2015; van 
der Stoep et al., 2016)。 根 据 空间 不 确定 性 假说 , 不 
论 在 短 还 是 长 SOA KEF, 目标 刺激 呈现 位 置 的 
空间 不 确定 性 很 高 ,线索 提供 的 空间 定向 信息 尤为 
重要 ， 有 效 线索 位 置 上 外 源 性 线索 与 视听 觉 目 标 均 
提供 空间 定向 信息 ， 当 线索 的 空间 定向 重要 性 提高 
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时 ， 视 听觉 整合 的 重要 性 降低 ， 导 致 有 效 线索 位 置 
上 的 视听 觉 整 合 可 能 减少 ( 彭 姓 等 , 2019; Tang et al., 
2019; van der Stoep et al., 2016)。 另 外 ,根据 感觉 通 
道 间 信号 强度 差异 假说 , 在 长 SOA 条 件 下 ,以 往 研 
究 中 视觉 产生 IOR 效应 听觉 未 产生 IOR 效应 时 ， 
有 效 线索 位 置 上 视 、 听 感觉 通道 间 加 工 速度 的 差异 
增 大 ,两 者 之 间 的 信号 强度 差异 也 增 大 ， 导 致 有 效 
线索 位 置 上 的 视听 觉 整 合 效应 可 能 减 小 ( 彭 姓 等 ， 
2019; Tang et al., 2019; van der Stoep et al., 2016)。 
虽然 本 研究 与 以 往 研 究 在 相同 SOA 条 件 下 关 
于 外 源 性 注意 调节 视听 觉 整 合 的 结果 不 同 ( 彭 姓 
等 , 2019; Tang et al., 2019; van der Stoep et al., 2016), 
但 在 一 定 程度 上 支持 van der Stoep 等 人 在 短 SOA 
(200~250 ms) 条 件 下 提出 的 感知 觉 敏 感度 假说 。 根 
据 该 假说 ,视觉 产生 易 化 效应 时 ,外 源 性 线索 提高 
有 效 线索 位 置 上 的 感知 觉 敏 感度 (van der Stoep et al., 
2015)， 从 而 相对 增强 呈现 在 该 位 置 上 目标 的 感知 
强度 (Carrasco, 2011)。 基 于 视听 觉 整 合 加 工 中 的 反 
比 效 应 原则 (principle of inverse effectiveness)， 即 
高 强度 目标 刺激 引起 的 视听 觉 整合 更 小 , 低 强 度 目 
标 刺 激 引 起 的 视听 觉 整 合 更 大 (Senkowski, Saint-Amour, 
Höfle, & Foxe, 2011)， 最 终 得 到 在 短 SOA 条 件 下 有 
效 线索 位 置 上 视听 觉 整 合 减 小 的 结果 。 而 有 研究 认 
为 在 长 SOA 条 件 下 , 且 产 生 IOR 效 应 时 ， 有 效 线索 
位 置 上 的 感知 觉 敏感 度 下 降 (Slagter Prinssen, Reteig, 
& Mazaheri, 2016)， 从 而 使 有 效 线索 位 置 上 目标 刺 
激 的 感知 强度 减弱 。 因 此 ,本 研究 在 长 SOA (400~ 
600 ms) 条 件 下 ， 有 效 线索 位 置 上 的 低 强 度 目 标 刺 
激 引 起 的 视听 觉 整合 更 大 。 目 前 关于 外 源 性 注意 对 
视听 觉 整 合 的 调节 作用 ， 基 于 不 同 的 理论 假说 有 不 
同 的 解释 (van der Stoep et al., 2015; van der Stoep et 
al., 2016)。 但 关于 外 源 性 注意 对 视听 觉 整合 的 调节 
作用 的 具体 机 制 尚 不 清楚 ,未 来 可 以 通过 脑 成 像 技 
术 为 其 提供 神经 机 制 的 实验 数据 支持 ， 并 进一步 探 
索 新 的 理论 假说 以 全 面 解释 外 源 性 注意 对 视听 觉 
整合 的 调节 作用 。 
6 结论 

在 双 通 道 分 配 性 注意 条 件 下 ,视听 觉 目标 没有 
产生 IOR 效应 ; 在 视觉 通道 选择 性 注意 条 件 下 , 无 
论 听 觉 刺 激 呈 现在 左 / 右 侧 还 是 中 央 位 置 ,视觉 与 
视听 觉 目 标 IOR 效应 均 无 显著 差异 。 本 研究 表明 ， 
双 通 道 分 配 性 注意 减弱 视听 觉 TOR 效应 。 
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Abstract 


Inhibition of return (IOR) has been greatly explored in the visual or auditory modality. Investigations on 


spatial IOR even have extended to the cross-modal link between visual and auditory information processing. The 


present study examined the generation and variation of IOR effects when targets from the visual and auditory 


modalities were presented simultaneously (audiovisual targets). In addition, it explored the effect of bimodal 


divided attention on IOR with audiovisual targets by directing the attention to different modality to form two 


conditions of attention. 


The present study consisted of 3 experiments. In these experiments, we mainly manipulated the target 


modalities (including visual, auditory, and audiovisual modalities) and cue validities (including cued, neutral, 
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uncued). Thirty-seven college students in Liaoning province were recruited in Exp. 1. The visual (V) target was 
white horizontal square wave grating (4° x 4°; the spatial frequency was 1 cycle/degree), the auditory (A) target 
(duration of 100 ms) was a 1000 Hz sinusoidal tone presented by the speakers. The audiovisual (AV) target was 
composed by the simultaneous presentation of both the visual and the auditory stimuli. During the experiment 
the fixation stimulus was presented for 800~1000 ms in the center of the monitor. Following the fixation 
stimulus, uninformative exogenous visual spatial cues were presented between 400~600 ms prior to the onset of 
targets for 100 ms at the left or right location. Then, the probability of the target (A, V, or AV) appeared for 100 
ms in the center was 0.6 (No-go trials), the probability of the target may occur on left or right location was 0.2 
(Go trials). The participants were instructed to pay attention to both V and A modalities, then respond to the 
target stimulus in the left or right location by pressing the response button as quickly and accurately as possible. 
Thirty-two college students were recruited in Exp. 2. The auditory stimuli were unattended and presented 
peripherally. Thirty-nine college students were recruited in Exp. 3. The auditory stimuli were unattended and 
presented centrally, the others were identical to that in Exp. 2. 

Based on the results of accuracy (ACC), it can be seen that the overall ACC was very high in Exp. 1. The 
mean ACC of AV targets was significantly higher than to either V or A targets. According to the results of 
reaction times (RTs), the mean RT of AV targets were significantly faster than to either V or A targets as 
expected, indicating the appearance of the bimodal advancement effect. For V targets, the RTs in the cued 
condition were slower than those in the uncued condition, demonstrated a typical IOR effect. There weren’t IOR 
effect elicited by AV targets when paying attention to both V and A modalities (Exp. 1). From the results of the 
relative amount of multisensory response enhancement (rMRE), we found a larger rMRE in the cued condition 
than that in the uncued condition. In Exp. 2 and Exp. 3, we found the comparable IOR with V and AV targets 
when the simultaneous auditory stimuli were unattended and presented peripherally or centrally. In addition, we 
found the comparable rMRE with V and AV targets when the simultaneous auditory stimuli were unattended and 
presented peripherally or centrally. 

These results suggested that the IOR effect elicited by AV targets was reduced when paying attention to 
multiple modalities. However, when auditory stimuli were unattended, there was no difference between the 
visual and audiovisual IOR effects. Based on the aforementioned findings, it indicated that bimodal divided 
attention can influence IOR with audiovisual targets. 

Key words bimodal divided attention; modality-specific selective attention; inhibition of return; audiovisual target; 
cue-target paradigm 


